Julia có tên khai sinh là Julia Miller, bà sinh ra trong một gia đình Ba Lan-Do Thái tại thành phố New York,[1][2] con gái của Tanya và Adolph Miller. Cha bà là một kĩ sư hóa học làm việc trong một dự án bom nguyên tử; mẹ bà là một nhà văn bị nghiện thuốc theo toa.[1] Bà lớn lên ở Brooklyn, Great Neck, New York và Milwaukee.[2] Năm 1965, bà nhận bằng cử nhân về khoa học chính trị từ trường Đại học Mount Holyoke và năm 1966, bà kết hôn với Michael Phillips. Sau khi ra trường, bà làm việc ở vị trí biên tập sách cho tạp chí Ladies' Home và sau đó là biên tập truyện cho Paramount Pictures.[2] Năm 1971, sau khi chồng bà có một sự nghiệp không thành công trong nghề môi giới chứng khoán, vợ chồng bà chuyển đến California, nơi chồng bà muốn tham gia sản xuất phim.[3]